Repository navigation
Put job containers under the pod cgroup - #1292
Merged
Merged
Conversation
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
st6446
marked this pull request as ready for review
November 16, 2026 04:42
int128
approved these changes
Nov 16, 2026
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
背景・動機
runner のコンテナは privileged なので、node の cgroup の木(cgroup v2)をそのまま見ています。
runner の中の dockerd は
cgroupfsdriver で動いていて、job のコンテナの cgroup を node の直下(/sys/fs/cgroup/docker/<id>など)に作ります。これは Pod の cgroup の外です。そのため、次のことが起きます。
docker run、service コンテナ、container action)には、Pod のメモリの limit が効きません。NotReadyになります。そして、同じ node にいた別の job が「lost communication with the server」で失敗します。変更
entrypoint.shで、/proc/self/cgroupから Pod の cgroup を求め、dockerd に--cgroup-parentとして渡します。これで job のコンテナは Pod の cgroup の下にでき、Pod の limit がそれらにも効きます。
メモリを使いすぎた job は、Pod の limit が node に収まる限り、自分の Pod の中で OOM-kill されます。
次の場合は何もしません。
kubepodsを含まないかどうかで判定します。cgroup の名前空間が分かれている場合は
0::/と見えるので、この option は付きません。kind では、Pod の cgroup が
/kubelet.slice/kubelet-kubepods.slice/...の下にあります(e2e で確認)。そのため、kubepodsで始まるかではなく、path のどこかに含まれるかで判定しています。検証
EKS の node(cgroup v2、containerd、kubelet は systemd cgroup driver)で、tmpfs に 2 GiB を書くコンテナを動かし、Pod の cgroup の
memory.currentを読みました。memory.current--log-level warn)/docker/<id>--cgroup-parent <Pod の cgroup>を付けたとき<Pod の cgroup>/<id>kubelet が報告する Pod のメモリには、option を付けた場合もこの 2 GiB は出ませんでした。kubelet は、container runtime が知っているコンテナの分だけを足しているのだと思います。
そのため、この変更で kubelet が退避するときにこの Pod を選ぶようになる、という効果はおそらくありません。効くのは Pod の limit です。
e2e
e2e(kind)に次の確認を足しました。どちらも通っています。
docker runしたコンテナの cgroup が、Pod の cgroup の下にできること。kind での確認
手元の kind で、次の 2 つを確かめました。
Pod を消したときの片付け
300 MiB を使うコンテナを止めずに残したまま、Pod を消しました。
/docker/<id>)kill -9してから消すどちらの場合も、コンテナのプロセスは残りませんでした。
Pod の limit に当たったとき
この変更を入れた image の Pod に limit 1 GiB を付け、その中で
docker run alpine tail /dev/zeroを動かしました。tailではなく、runner のコンテナのプロセス(dockerd、containerd、runner の本体)でした。runner のコンテナはOOMKilledになり、tailのコンテナは巻き添えで止まりました(終了コード 255、OOMKilled=false)。oom_score_adjが 968(Burstable)で、docker のコンテナは 0 です。そのため、runner の方が先に選ばれます。つまり、メモリを使いすぎた job は、runner ごと失敗します。同じ node のほかの job は巻き込まれません。
使いすぎたコンテナの方を先に殺させたい場合は、コンテナの
oom_score_adjを上げる方法がありそうです。ただ、まだ調べていません。確かめていないこと
OOMKilledになったとき、job がどう失敗するか。🤖 Generated with Claude Code